1. परिचय
पिछले अपडेट की तारीख: 08-02-2022
मल्टी-क्लाउड स्ट्रीमिंग की ज़रूरत क्यों है?
कारोबार, अपने वर्कलोड को कई क्लाउड प्लैटफ़ॉर्म पर फैलाना चाहते हैं. ऐसा इसलिए, क्योंकि कारोबार के ऑपरेशनल वर्कफ़्लो में कई क्लाउड प्लैटफ़ॉर्म का इस्तेमाल करने के कई फ़ायदे हैं. जैसे:
- वेंडर लॉक-इन
- कारोबार को चालू रखने से जुड़े जोखिम को कम करना
- डिपेंडेंसी और एक टेक्नोलॉजी स्टैक पर निर्भरता
आपको क्या बनाने को मिलेगा
इस कोडलैब में, Confluent Cloud का इस्तेमाल करके, AWS और GCP के बीच मल्टी-क्लाउड डेटा स्ट्रीमिंग सेट अप करने का तरीका बताया गया है. आपको:
- GCP पर Confluent Cloud में, Kafka का एक डेडीकेटेड क्लस्टर सेट अप करें.
- Confluent Cloud और अपने GCP प्रोजेक्ट के बीच वीपीसी पीयरिंग सेट अप करें, ताकि इसे किसी निजी नेटवर्क पर ऐक्सेस किया जा सके.
- अपने AWS प्रोजेक्ट और GCP प्रोजेक्ट के बीच एक वीपीएन टनल सेटअप करें, ताकि दोनों हाइपरस्केलर पर मौजूद संसाधन कनेक्ट हो सकें.
- AWS से Confluent Kafka को ऐक्सेस करें. साथ ही, Confluent Kafka Cloud का इस्तेमाल करके, AWS से GCP तक स्ट्रीमिंग पाइपलाइन सेट अप करें.
आपको क्या सीखने को मिलेगा
- Confluent Cloud Kafka और आपके GCP प्रोजेक्ट के बीच वीपीसी पियरिंग को सेट अप करने का तरीका.
- AWS और GCP प्रोजेक्ट के बीच वीपीएन टनल सेट अप करने का तरीका.
- अपने AWS प्रोजेक्ट से, GCP पर होस्ट किए गए Confluent Cloud को कैसे ऐक्सेस करें.
इस कोडलैब में, मल्टी-क्लाउड डेटा स्ट्रीमिंग बनाने के बारे में बताया गया है. काम के न होने वाले कॉन्सेप्ट और कोड ब्लॉक को अनदेखा किया जाता है. साथ ही, उन्हें सिर्फ़ कॉपी और चिपकाने के लिए उपलब्ध कराया जाता है.
आपको इन चीज़ों की ज़रूरत होगी
- AWS प्रोजेक्ट का ऐक्सेस.
- GCP प्रोजेक्ट का ऐक्सेस.
- GCP और AWS Cloud का अनुभव.
- GCP Marketplace से Confluent Kafka की सदस्यता.
2. सेट अप करना
AWS और GCP के बीच वीपीएन कनेक्शन सेट अप करना
- इस डेमो में, GCP में डिफ़ॉल्ट वीपीसी (asia-southeast1) और AWS में ng-vpc-103-mum (ap-south1) का इस्तेमाल किया गया है.
- AWS पर, कस्टमर गेटवे और वर्चुअल प्राइवेट गेटवे (वीपीजी) बनाएं. VPG को AWS VPC से अटैच करें.
- AWS पर साइट-टू-साइट वीपीएन कनेक्शन बनाएं.
- AWS में बनाए गए टनल के लिए कॉन्फ़िगरेशन फ़ाइल डाउनलोड करें. चुनें
- वेंडर : जेनेरिक
- प्लैटफ़ॉर्म : जेनेरिक
- सॉफ़्टवेयर : वेंडर से अलग
- Ike Version : Ikev2
- GCP पर वीपीएन गेटवे और वीपीएन टनल बनाएं.
दोनों टनल के लिए, डाउनलोड की गई AWS कॉन्फ़िगरेशन फ़ाइल से आईपी पता और Ikev2 कुंजी डालें.
- यह प्रोसेस पूरी होने के बाद, AWS और GCP पर टनल चालू हो जानी चाहिए.
अब टनल का सेटअप पूरा हो गया है.
- वह सीआईडीआर ब्लॉक चुनें जिसका इस्तेमाल Confluent Cloud को कॉन्फ़िगर करने के लिए किया जाएगा. इसे AWS पर स्टैटिक रूट के तौर पर वीपीएन टनल में जोड़ें.
GCP Marketplace पर Confluent Kafka
- GCP Marketplace से Confluent Kafka की सदस्यता लें.
- Confluent Cloud में लॉग इन करें और एक डेडिकेटेड क्लस्टर बनाएं
- पीयरिंग के लिए, वीपीसी नेटवर्क की जानकारी के साथ-साथ GCP प्रोजेक्ट आईडी दें.
- Confluent Cloud क्लस्टर नेटवर्क की दी गई जानकारी का इस्तेमाल करके, GCP के एंड पर वीपीसी पियरिंग की प्रोसेस पूरी करें.
- Confluent Cloud Cluster अब चालू है और GCP के साथ पीयर किया गया है.
- GCP से Confluent Cluster की कनेक्टिविटी की जांच करें.
- GCE इंस्टेंस बनाएं और Python3 इंस्टॉल करें.
- Confluent Cloud में Python क्लाइंट की कुंजी जनरेट करना
- GCP इंस्टेंस से, "producer.py" टेस्ट स्क्रिप्ट चलाएं:
- अब AWS इंस्टेंस पर उदाहरण के तौर पर दिए गए कोडबेस को डाउनलोड करें. इसके बाद, GCP से Confluent Cloud के साथ हाइब्रिड कनेक्टिविटी की जांच करने के लिए, "producer.py" स्क्रिप्ट को एक्ज़ीक्यूट करें.
3. बधाई हो
बधाई हो, आपने AWS और GCP के बीच मल्टी-क्लाउड क्रॉस-रीजनल Confluent Kafka स्ट्रीमिंग प्लैटफ़ॉर्म को सफलतापूर्वक बना लिया है.
क्या ये कोडलैब आपके लिए मददगार हैं**?**
इन कोडलैब को आज़माएं...